Com a ampla adoção de modelos de linguagem grandes (LLMs) em aplicações modernas de IA, ferramentas como chatbots e geradores de código dependem da capacidade desses modelos. No entanto, os problemas de eficiência no processo de inferência também estão se tornando cada vez mais proeminentes. Principalmente ao lidar com mecanismos de atenção, como FlashAttention e SparseAttention, que frequentemente se mostram insuficientes diante de cargas de trabalho diversas, padrões de entrada dinâmicos e restrições de recursos de GPU. Esses desafios, somados a alta latência e gargalos de memória...

A tecnologia Intel Gaudi2 se compara aos aceleradores de IA da Nvidia em inferência de modelos de linguagem em larga escala. O Gaudi2 oferece desempenho superior ao Nvidia A100 em inferência, com melhor utilização da largura de banda de memória. O custo-benefício para treinamento e inferência supera o Nvidia A100 e H100. Novos dados validam o desempenho da Intel em inferência de modelos de linguagem em larga escala. A tecnologia Gaudi3 está prevista para 2024, prometendo um grande salto de desempenho.

Pesquisas demonstram que a tecnologia Intel Gaudi2 se compara aos aceleradores de IA da Nvidia em inferência de modelos de linguagem em larga escala. O desempenho de inferência do Gaudi2 é comparável ao do sistema Nvidia H100 em termos de decodificação e superior ao da Nvidia A100. Com base nos preços de nuvem pública, o Gaudi2 apresenta melhor custo-benefício que os A100 e H100 da Nvidia, tanto em treinamento quanto em inferência. O lançamento do Intel Gaudi3 está previsto para 2024, oferecendo quatro vezes mais capacidade de processamento e o dobro da largura de banda de rede. Intel.